Rethinking Heterogeneous LLM Merging: A Weighted Model Averaging Perspective
重新审视异构大模型合并：加权平均视角
🧭 模型合并 · 异构参数空间加权平均
University of Science and Technology of China
证明通过维度适配和比率控制，无需训练直接加权平均即可有效合并参数量不同的LLM
📌 工作参考价值（4 点）
- 工程上可直接合并不同尺寸的微调模型，无需重新训练，特别适合电商推荐系统中多任务模型的快速融合。
- 使用小比率插值（如0.1）将辅助模型能力注入主模型，例如将对话能力迁移到商品描述生成模型。
- Union-style 扩展或 Intersection-style 截断均为免训练操作，可作为轻量级模型更新方案，部署成本低。
- 注意避免平衡插值，否则性能崩溃；该跷跷板效应提示业务中合并比例需精细 A/B 测试。